-Барин, давай откроем ворота?

- Пахом, мы уже вчера это обсуждали. Ворота открывать нельзя, снаружи печенеги.

- Но мне репу полоть пора.

- Печенеги, Пахом.

- Но у меня там репа не прополота...

- Не до твоей репы сейчас, Пахом! Осадное положение у нас, неуч! Ещё раз за ворота сунешься - высекут!

- Ну ладно. Значит, подати в этом месяце можно не платить?

- С ума сошёл! А казне что, пустовать? Подати чтоб занёс в срок, либо высекут.

- Охти, господи... Ну ладно. Тогда мне скорей на огород надо, пусти!

- Пахом, ты идиот? Двадцатый раз повторяю: за ворота никому нельзя, огороды подождут.

- Но твой-то огород утром пололи, сам видел, целая бригада работала!

- Той бригаде князь пропуска выписал, печенеги пропусков боятся.

- Так почему твой огород можно полоть, а мой - нет?

- Мой огород - системообразующий. Он должен продолжать функционировать, чтоб весь город с голоду не пропал.

- Значит, мне тоже мешок репы с твоего огорода причитается?

- Нет, с чего это мне тебя кормить? Я же в казну подати плачу.

- Аааа, мне казна мешок репы даст?

- Всем горожанам по мешку репы дать - никакой казны не хватит. Будут помогать адресно, только пострадавшим от печенегов.

- А мне-то?

- А ты разве от печенегов пострадал?

- Пострадал, конечно. Репы-то у меня теперь не будет...

- Какой ты циничный, Пахом. Прям противно. "Пострадал" - это когда тебя ранили, либо убили. Люди гибнут, а ты про свою репу...

- Конечно, я про репу! Без неё голодать придётся, загнусь! И чтоб подати в казну занести, мне надо, опять же, репу на базаре продать...

- Тьфу! Ладно, чёрт с тобой. Нытик. В этом месяце подати не плати, в следующем заплатишь вдвое.

- В следующем месяце я вообще ничего не заплачу. Урожай ведь пропадёт, по случаю осады.

- Как знаешь. Но смотри, не заплатишь - высекут!

- Вы что, смерти моей хотите? Тогда чем вы лучше печенегов?

- Зачем так? Мы просто говорим, что ты должен некоторое время посидеть дома. Не работать. Не иметь никакого дохода. Но при этом покупать еду и исправно платить подати. Неужели это так сложно?

- Вообще-то - да, довольно сложно. Не знаю даже, как я без своей репы...

- Короче, надоело тебя убеждать! Ещё раз тему репы поднимешь - высекут, так и знай! А посмеешь ещё раз законные власти города с "печенегами" сравнить - вообще в яме сидеть будешь, за злостный экстремизм. Что за народ у нас? Стадо дикарей. Никакой дисциплины.

Автор неизвестен...

Милые котики.mp4

Видео - это про всех

В современном мире, если у вас интернет и устройство, которое обеспечивает выход в него, вы в любом случае смотрите видео, и неважно, речь идет о десятисекундных рилсах или документалках о падении третьего Рейха на 5 часов. Только на одном YouTube в день пользователи тратят более миллиарда часов, а всего пользователи интернета, коих насчитывается больше 6 миллиардов, в среднем смотрят от 1,5 до 2 часов видео каждый день. Чтобы вы понимали, сколько это, то в абсолютном значении на видео мы (человечество) ежедневно тратим от 9 до 12 миллиардов часов. От 375 до 500 миллионов суток. От 1 до 1,33 миллиона лет каждый день. Да, одни почти не смотрят видосы, но зато другие не вылезают со стримингов целыми сутками. Буквально 15 лет назад мы и представить не могли, что видеосервисы настолько плотно захватят наш быт. Фильмы и сериалы, смешнявки, новости, гайды, стримы - все это пользуется бешеным спросом.

Первопроходцем этого стали Microsoft, которая еще в 2000 году представила Microsoft Mediarooms - платформу для iptv-телевидения, а в 2008 организовала глобальную трансляцию олимпиады, которую можно было посмотреть прямо в вашем браузере. Не впечатляет? Ну так 18 лет прошло. Примерно в это же время Adobe со своим Flash Player (который появился несколькими годами ранее) оказался почти в каждом браузере, и он принес набор кодеков, который до сих пор является самым популярным: H.264 и AAC.

Он был везде: Windows, Linux, телефоны на андроиде, компьютеры на MacOs и кажется, буквально на каждом устройстве кроме телефонов от Apple. Такого глобального распространения софта мир еще видел и наверное, уже не увидит. Гугл в свою очередь, предложил свой кодек VP8 (и VP9), а с внедрения WebRTC (технологии прямого обмена данными между браузерами, в частности, аудио и видео) эта вавилонская башня начала расти во все стороны.

И давайте, чтобы никто не пугался неизвестных аббревиатур, немного разъясним, что почем. Вот у нас есть видео, и для того, чтобы понять, как оно работает, надо надо знать о нем три вещи - контейнер, кодек и формат сжатия.

Контейнер - это самое простое. Например, все вы встречали видеофайлы с расширениями ".mp4", ".mov", ".webm". Это и есть форматы контейнеров, которые содержат в себе разные потоки информации и объединяют их в один файл. Например, в видео есть собственно само видео, а также звуковая дорожка, заголовок, иногда - субтитры, и все это соединяется в один файл. Каким будет контейнер, зависит от того, какие кодеки и методы сжатия используются при обработке файла.

Формат сжатия - это алгоритм, который описывает, КАК нужно сжать данные, чтобы не терять в качестве, но чтобы они при этом не весили целую тонну. Без них "сырое" необработанное 4к-видео в RAW длиной полтора часа, будет весить больше 20 терабайт, поэтому сжатие - строго обязательная для всех видео процедура. Например, H.264 - это формат сжатия видео. AC3 - это формат сжатия аудио. Чтобы получить фильм со звуком, вы можете поместить видеопоток H.264 и аудиопоток AC3 в контейнер .mp4 и получите mp4-файл с фильмом. Работают форматы сжатия по-разному, с разными результатами и потерями, от этого и считается эффективность сжатия.

Кодек (сокращение от "компрессор/декомпрессор") - это программа/устройство и т. д., которое может кодировать и декодировать сжатый формат данных. Например, это LAME, DivX, Xvid (руки на стол, это не то). Это набор программ/софта, которые с помощью определенных технологий сжатия упаковывают потоки в контейнер и на выходе мы получаем видео определенного формата.

Но теперь придется все немного запутать, потому что в интернете чаще всего форматы сжатия (те самые H.264, AC3 и т.д.) называют кодеками, а сами кодеки в речи большая часть даже специалистов просто опускает. Причин тому масса, например, разные кодеки одни компании делали для себя, другие напротив - распространяли их для всех, форматы сжатия у той же Microsoft и Apple свои, но большинство из них поддерживает почти все форматы контейнеров и форматы сжатия, и потому если бог интернета существует, то возблагодарите его за формат .mp4, он же MPEG-4 (part 14), потому что он повсеместен. Так что дальше формат сжатия мы будем тоже для краткости обзывать кодеками, не ругайтесь.

Доставка в каждый дом

Итак, допустим, с видео вы разобрались. Подобрали подходящий и устраивающий вас формат, какой-нибудь AAC для аудио и HEVС для видео. Бережно положили на сервер. Потом вспомнили, что вообще-то каждый уважающий себя сервис кодирует одно и то же видео в разных качествах - знаете вот эти 114р, 720р, 2160р. Кому-то интернет позволяет смотреть стримы в 8к сразу на трех мониторах, а кто-то до сих пор не может расстаться со стареньким гуглофоном, которому не нужен гигабитный канал для воспроизведения видео в 480р. Хорошо, видео нарезается под разное разрешение, аудио сжимается с разным битрейтом, теперь все хорошо. Или нет?

Теперь надо довезти это видео до потребителя. И тут, мы думаем, все догадываются, в чем проблема. Зрителей может быть миллион, а сервер и видео - одно. В таком случае каким должен быть канал связи у сервера? Увы, если не подумать об этом заранее, то вам не хватит и оптоволоконного кабеля толщиной с великанью ногу. Поэтому современные технологии доставки видео (да и не только, а любой информации) используют так называемые CDN, Content delivery network, распределенную инфраструктуру, направленную на быструю доставку видео.

Это распределенная по всему миру сеть серверов, через которые проходит трафик от поставщика к потребителю, с той лишь разницей, что содержимое некоторое время после этого кэшируется у CDN. И потому, открывая любимое видео на Пикабу, вы, скорее всего, обращаетесь не к Пикабу напрямую, а к ближайшему к вам CDN-серверу, у которого это видео сохранено. Так получается и снижение нагрузки на сеть, и повышается скорость отклика - не нужно везти за полмира видео с котиками, чтобы вы его посмотрели.

Но по большому счету это перекладывание нагрузки с одного сервера на условно сотню. К тому же, это тоже стоит денег, и подчас немалых, и если вы не Google, это может влететь вам в копеечку. Поэтому часто также используется технология p2p - так называемая peer-to-peer, которая многим присутствующим может быть известна по принципу работы торрент-клиентов. Суть в чем - у каждого из пользователей сети есть часть контента, которую они загрузили к себе. В таком случае при наличии технической возможности проще организовать обмен этой информацией между разными участниками, прибегая к CDN в случаях, когда участников не хватает. По большому счету, это перекладывание загрузки на плечи пользователей, но повторимся, по такому принципу работают многие сервисы, например, торрент-трекеры или некоторые игровые платформы, такие как VK Play.

Кроме того, важен и сам процесс доставки. К нашему времени это почти всегда протоколы TCP\IP, которые нарезают данные на маленькие пакеты и посылают частями, где IP, если упростить - это транспортная инструкция, a TCP - это инструкция, которая устанавливает соединение, нумерует пакеты перед отправкой и проверяет, всё ли дошло. В принципе сейчас так работает практически весь интернет.

Но конкретно для потоковых видео этого мало. Чтобы вы могли смотреть видео в высоком качестве без ожидания, когда догрузится нужный вам кусочек, существует еще один протокол, который называется HLS (HTTP Live Streaming) - это протокол от Apple для передачи видео через стандартные веб-серверы. Оно нарезает видео на короткие фрагменты (2-6 секунд), устанавливает очередность их отдачи и воспроизведения. Таким образом, вам не нужно ждать, пока загрузится большой фрагмент видео, в большинстве случаев первых пары секунд хватает, чтобы загрузить следующее - и так без остановки. С учетом технологий CDN и p2p это и позволяет нам с вами тратить про нескольку часов в день за бесперебойным просмотром видео.

А что если, скажем, вы вдруг в регионе, где скорость интернета нестабильна? Наверняка бывало такое, что вот вы смотрите видео в FullHD, и вдруг оно резко шакалится, но не останавливается. По логике, с HLS вы будете продолжать качать файл того же качества, просто будете делать это дольше, с возможной остановкой и прогрузкой, если не хватает скорости интернета. И в таких случаях на помощь приходит технология DASH, которая не просто делит видео на сегменты, как и HLS, но и делает это для всех вариантов разрешения, и определяет, какое максимальное качество вы можете принять. И если вдруг скорость падает, то видео не останавливается, а лишь ухудшается до максимально возможно в ваших условиях качества.

И остается последняя деталь - это воспроизведение видео. Например, при просмотре видео в браузере почти всегда используются плееры на HTML-5. А вот с приложениями на мобильных устройствах все несколько сложнее. И у техники Apple, и у смартфонов Android есть ряд ограничений в отношении форматов контейнеров и кодеков. Поэтому если ваши пользователи смотрят видео на вашем ресурсе, вам нужно решить ряд задач:

• видео нужно в форматах и с теми кодеками, которые могут быть воспроизведены;

• оно должно желательно вообще ничего не весить;

• видео должно быстро и бесперебойно доставляться до адресата;

• постарайтесь не запутаться в процессе поддержки всего вышеперечисленного.

А что там Пикабу?

История развития видеоплеера на Пикабу полна множества проб и ошибок, в ходе которых мы на собственном опыте искали пути, чтобы добиться высокого качества и скорости работы. Но этот путь тернист, особенно если у вас под рукой нет статьи от @pikablog, где все научно-популярно разъясняется по итогам длинного пути. По состоянию на 2018 год, от которого можно вести историю наблюдений, у нас было только 2 формата:

• mp4 на кодеке H.264;

• webm на кодеке vp8.

Для каждого видео создавались оба варианта, но приоритет отдавался формату webm, если он поддерживался устройством. Почему - улучшенная компрессия, то есть видео получалось более высокого качества и меньше при этом весило, должно было быстрее грузиться. Но даже по состоянию на 2026 год он воспроизводится еще не везде (и не все ресурсы его внедрили). К примеру, наше приложение на iOS не могло его воспроизводить, поэтому его пользователи получали видео в формате mp4.

При этом ни о каком потоковом видео не было и речи. Перед просмотром ролик нужно было загрузить если не целиком, то большим куском, и даже тот факт, что видео непосредственно на Пикабу ограничены длительностью в 3 минуты, не особо спасал, особенно тех, у кого был слабый интернет. Как итог - ПК-бояре страдали меньше всех, а вот пользователи мобильных версий и в частности, приложений - наоборот. Такая ситуация сохранялась в течение нескольких лет, наши разработчики латали дыры и исправляли баги, но корневая проблема крылась именно в формате передачи данных.

В начале 2022 года жалоб было уже довольно много, обилие подгрузок и медленная отдача видео поставили нас перед необходимостью добавить новые, современные и быстрые кодеки в дополнение к уже имеющимся:

• mp4 на кодеке AV1;

• webm на кодеке vp9.

Но тут, как говорится, не обошлось без неожиданностей. AV1 считается одним из лучших кодеков, компрессия у него превосходная, а значит mp4 будут весить сущие крохи. Вот только на практике его использование породило на разных устройствах очень много странных и порой невоспроизводимых багов, о которых вы скорее всего, никогда даже не догадаетесь. С другой стороны, vp9 справлялся достаточно хорошо, но тоже не без нюансов - считается, что он чуть более требователен, в том числе к железу, пусть и некритично.

Понаблюдав около года за работой видео, которая все ещё нас не устраивала, примерно в середине 2023 года мы внедрили потоковые форматы видео в дополнение к уже существующим. Те самые HLS и DASH, которые рубят видео на очень маленькие сегменты и отправляют их частями, в том числе разного качества, если того требуют обстоятельства. Как и полагалось, у нас получилось следующее:

• HLS на базе H.264;

• DASH на базе mp4/av1.

Причем, поскольку значительная часть видео на Пикабу - очень маленькие, то для них потоковый формат был бесполезен. Поэтому если видео весило меньше 4 Мб, то для него видео в HLS не создавалось. В то же время HLS для больших видео считался основным форматом, а DASH, как и должно быть, был вспомогательным. Однако тут крылась серьезная проблема.

Потоковое видео - это здорово, но не тогда, когда от него больше проблем, чем пользы. Прежде всего - эта технология для нас была новой, и пусть большие стриминги уже годами оттачивают свои сервисы, нам в любом любом случае пришлось пройти собственный курс граблей. Вот один из примеров: чтобы не ставить эксперименты на благодарных пользователях, нам нужно было убедиться, что HLS работает так, как и должен. С этой целью мы на своих серверах внедрили систему, которая в headless-браузере пробовала загружать видео и убеждалось, что оно верно декодировалось и воспроизводится в браузере на базе chromium.

Тем не менее, количество ошибок не только не уменьшалось, а вновь начало увеличиваться. Проблем доставляло также и то, что для разных постов, для разных видео и разных устройств с постоянно меняющимся качеством связи могли возникать разные проблемы, и получалось, что для одних постов корректно работал один формат, для других - другой и так далее. По этой причине уже к концу того же года мы внедрили еще одну систему, призванную автоматизировать процесс выбора оптимальных форматов видео. Это была система репортов на поломанные посты, которые по той или иной причине не грузились.

Если пользователи встречались с неработающими видео и жаловались на них, их переключало на другой, работающий формат. Это дало свои плоды. Проблем с загрузкой видео не стало меньше, однако при получении большого количества репортов система автоматически анализировала ошибки, и отключала неработающие кодеки. С конца 2023 года мы собирали данные об этих ошибках и причинах, которые могли и вызывать.

Один из выводов, к которым мы в итоге пришли - излишняя гибкость порой вредит и делает лишь хуже. Самые проблемные форматы пустили под нож в начале 2025. И как ни странно, первым отключили mp4 на av1 и аналогичный потоковый формат на DASH, так как на них было больше всего жалоб их разных источников. Хоть это и самый экономный формат, в итоге в конкретно нашем случае он же оказался и самым ненадежным. Спустя некоторое время нашей команде пришлось отказаться и от webm на кодеке vp9, а соответственно и от соответствующего ему DASH-формата. В итоге качество видео только улучшилось, а репорты от пользователей существенно снизились, став разовыми ошибками.

Что мы имеем по состоянию на 2026 год? В итоге мы остались на видео формата mp4/H.264 и HLS на том же кодеке. Опыт с генерацией потокового видео только для файлов определенного размера был признан удачным, а команда разработки может сконцентрироваться над тем, чтобы развивать имеющийся формат видео. Да, возможно, он не самый легкий и не самый быстрый, однако он работает куда стабильнее других.

Итоги

В ближайшее время готовится релиз, в котором мы сильно оптимизировали то, как генерируются видео на базе mp4/H.264, изменили дизайн плеера, внедрили много новых функций и внедрили наконец понятие GIF-видео - раньше нельзя было добавить видео как GIF, можно было лишь отключить у него звук. От формата .webm мы откажемся окончательно. Потоковый формат HLS будет отдаваться только для видео, которые больше 30 секунд, но при этом, что важно, и обычные mp4-файлы будут теперь показываться с адаптивным качеством, подстраиваясь под возможности пользователей. Выбор качества будет происходить, как это и принято в отрасли, либо вручную, либо автоматически и зависеть от скорости интернета. Но - об этом будет отдельный анонс.

Так что мы рассчитываем, что в скором будущем видео станет работать стабильнее, чем сейчас и тем более - чем раньше. Разумеется, не все проблемы можно решить на нашей стороне - ситуация такова, что пользователи могут сталкиваться с проблемами ограничения интернета, некоторые CDN-сервисы и сервисы по защите от DDoS (о которых в статье не упоминалось) могут быть заблокированы, а также некоторые блокировщики рекламы нередко вмешиваются в работу видео - словом, даже при идеальной работе видео иногда остаются пусть и не очень частые, но все-таки проблемы, которые только предстоит преодолеть.

П.С. Кстати, поделитесь видео с котами?

Из канала Мем в глаз попал

Также в МАХ